Einstein bắt đầu cảm thụ âm nhạc từ khi còn nhỏ tuổi. Mẹ ông chơi dương cầm khá giỏi và muốn ông học đàn vĩ cầm, không chỉ để truyền dẫn cho ông niềm yêu thích âm nhạc mà còn giúp ông hòa nhập với nền văn hóa Đức. Theo nhạc trưởng Leon Botstein, Einstein có thể đã bắt đầu chơi nhạc từ lúc 5 tuổi nhưng chưa thể hiện niềm thích thú với âm nhạc khi đó.[142]

Tuy nhiên, bước sang tuổi 13, ông được học bản sonata vĩ cầm của Mozart. "Einstein trở nên yêu thích" âm nhạc Mozart, Botstein viết, và học chơi vĩ cầm một cách tự nguyện hơn. Theo Einstein, ông tự học chơi đàn bằng cách "thực hành có hệ thống", và nói rằng "say mê là một người thầy tốt hơn ý thức trách nhiệm."[142] Khi 17 tuổi, ông trình bày bản sonata vĩ cầm của Beethoven trong một kỳ kiểm tra âm nhạc ở Aarau, và giáo viên chấm điểm đã nhận xét khi ông kết thúc là "xuất sắc và thể hiện nội dung tuyệt vời." Điều gây ấn tượng cho người giáo viên là, theo Botstein, Einstein "thể hiện sâu sắc tình yêu âm nhạc, một phẩm chất vẫn còn đang được hình thành. Âm nhạc có một ý nghĩa kỳ lạ đối với sinh viên này."[142]

Botstein lưu ý rằng âm nhạc đảm nhận một vai trò quan trọng và lâu dài trong cuộc sống kể từ thời gian đó của Einstein. Mặc dù chưa lúc nào ông nghĩ rằng sẽ theo đuổi sự nghiệp âm nhạc, nhưng ông thường tham gia chơi nhạc thính phòng với một vài nghệ sĩ, thường trình diễn cho nhóm vài người bạn. Âm nhạc thính phòng là một phần trong cuộc sống của ông khi còn ở Bern, Zurich, và Berlin, nơi ông chơi nhạc cùng Max Planck và những người khác. Năm 1931, trong thời gian đến Viện Công nghệ California, ông đến thăm gia đình Zoellner ở Los Angeles và chơi một số bản nhạc của Beethoven và Mozart cùng với các thành viên của nhóm tứ tấu Zoellner. Einstein sau đó trao cho người đại diện gia đình một bức ảnh lưu niệm chụp ông cùng với chữ ký.[143][144] Âm nhạc không chỉ là niềm vui thích mà còn giúp ông trong công việc. Bà Elsa nói "âm nhạc giúp ông khi đang suy nghĩ về các lý thuyết. Ông mải mê nghiên cứu, quay trở ra giải trí bằng đánh vài đoạn hợp âm piano, rồi tiếp tục trở lại công việc".[145]